Un equipo de investigación de la Universidad de Nueva York, el MIT y Google ha presentado recientemente un marco innovador para abordar los cuellos de botella en la escalabilidad del tiempo de inferencia en modelos de difusión. Este trabajo pionero va más allá de los enfoques tradicionales que simplemente aumentan los pasos de eliminación de ruido, abriendo nuevas vías para mejorar el rendimiento de los modelos generativos. El marco se centra en dos dimensiones: utilizar un validador para proporcionar retroalimentación e implementar un algoritmo para descubrir mejores candidatos de ruido. El equipo utilizó un modelo SiT-XL preentrenado con una resolución de 256×256 como base, manteniendo 250 pasos fijos de eliminación de ruido...

En el campo de la inteligencia artificial, el último logro del equipo de tecnología de comercialización de ByteDance, el modelo Infinity, se ha convertido en el nuevo rey de la generación de imágenes a partir de texto autorregresivo gracias a su rendimiento excepcional y tecnología innovadora. Este nuevo modelo de código abierto no solo supera a Stable Diffusion 3 en la calidad de generación de imágenes, sino que también muestra una ventaja significativa en la velocidad de inferencia. La innovación central del modelo Infinity radica en el uso de un marco autorregresivo de Bitwise Token, que predice la siguiente resolución mediante la generación de +1 o -1.

En el campo de la generación de imágenes a partir de texto, los modelos de difusión han demostrado una capacidad excepcional, pero aún presentan algunas deficiencias en la generación de imágenes estéticas. Recientemente, un equipo de investigación de ByteDance y la Universidad de Ciencia y Tecnología de China ha propuesto una nueva tecnología llamada adaptador "Cross-Attention Value Mixing Control" (VMix), destinada a mejorar la calidad de las imágenes generadas y mantener la generalidad para diversos conceptos visuales. La idea central del adaptador VMix radica en el diseño de un control condicional superior...

La investigación más reciente del laboratorio Tongyi de Alibaba muestra que los modelos Diffusion Transformer de texto a imagen existentes ya poseen la capacidad de generar múltiples imágenes con relaciones específicas; solo necesitan un ligero "empujón" para "integrar" y generar conjuntos de múltiples imágenes de alta calidad. Los modelos de difusión tradicionales son más como estudiantes que "memorizan", que necesitan entrenamiento con una gran cantidad de datos para generar imágenes de alta calidad. Pero con IC-LoRA, se convierten en estudiantes "brillantes" que pueden "aplicar lo aprendido", solo necesitan

En la gira de innovación de IA de Volcano Engine 2024, el presidente de Volcano Engine, Tan Dai, reveló el nuevo modelo de generación de video Doubao. Este modelo cuenta con varias tecnologías avanzadas, incluyendo la eficiente unidad de cálculo DIT, que permite una codificación de compresión profunda de video y texto; además, emplea un nuevo método de entrenamiento de modelos de difusión, asegurando la coherencia en la generación de videos multicámara; finalmente, el modelo integra una estructura Transformer profundamente optimizada, mejorando significativamente la capacidad de generalización de la generación de video.

Investigadores de la Universidad de Hong Kong y Tencent presentan DiffMM, un nuevo paradigma de sistema de recomendación multimodal diseñado para mejorar la precisión de las recomendaciones de videos cortos. El sistema crea un gráfico que contiene información de usuarios y videos, y utiliza técnicas de difusión de gráficos y aprendizaje contrastivo para comprender mejor la relación entre usuarios y videos, logrando así recomendaciones más precisas.